Realybės išlaisvinimas: WebXR bežymio sekimo vadovas kūrėjams

Ilgus metus papildytosios realybės pažadas buvo pririštas prie fizinio simbolio. Norint pamatyti naujo automobilio 3D modelį, pirmiausia reikėjo atsispausdinti QR kodą. Norint atgaivinti personažą iš dribsnių dėžutės, reikėjo pačios dėžutės. Tai buvo žymėmis pagrįstos AR era – išmani ir pamatinė technologija, tačiau turinti įgimtų apribojimų. Jai reikėjo specifinio, žinomo vizualinio taikinio, kuris AR magiją įkalindavo mažoje, iš anksto apibrėžtoje erdvėje. Šiandien šią paradigmą sugriovė kur kas galingesnė ir intuityvesnė technologija: bežymis sekimas.

Bežymis sekimas, o tiksliau – aplinka pagrįstas pozicijos sekimas, yra variklis, kuris skatina modernią, patrauklią papildytąją realybę. Jis išlaisvina skaitmeninį turinį nuo atspausdintų kvadratų ir leidžia jam beprecedente laisve apsigyventi mūsų pasaulyje. Tai technologija, kuri leidžia jums pastatyti virtualią sofą savo tikroje svetainėje, sekti skaitmeninį gidą judriame oro uoste ar stebėti fantastišką būtybę, bėgančią per atvirą parką. Sujungus tai su neprilygstamu interneto prieinamumu per WebXR įrenginio API, sukuriama galinga formulė, leidžianti akimirksniu pateikti įtraukiančias patirtis pasaulinei auditorijai, be programėlių parduotuvės atsisiuntimų keliamų trikdžių.

Šis išsamus vadovas skirtas kūrėjams, produktų vadovams ir technologijų entuziastams, norintiems suprasti aplinka pagrįsto sekimo WebXR mechaniką, galimybes ir praktinį pritaikymą. Išnagrinėsime pagrindines technologijas, ištirsime svarbiausias funkcijas, apžvelgsime kūrimo aplinką ir pažvelgsime į erdvę suvokiančio interneto ateitį.

Kas yra aplinka pagrįstas pozicijos sekimas?

Iš esmės, aplinka pagrįstas pozicijos sekimas yra įrenginio – paprastai išmaniojo telefono ar specialių AR akinių – gebėjimas realiuoju laiku suprasti savo padėtį ir orientaciją fizinėje erdvėje, naudojant tik integruotus jutiklius. Jis nuolat atsako į du esminius klausimus: „Kur aš esu?“ ir „Į kurią pusę žiūriu?“ Magija slypi tame, kaip jis tai pasiekia be jokių išankstinių žinių apie aplinką ar specialių žymių poreikio.

Šis procesas remiasi sudėtinga kompiuterinės regos ir jutiklių duomenų analizės šaka. Įrenginys efektyviai sukuria laikiną, dinamišką savo aplinkos žemėlapį ir seka savo judėjimą jame. Tai toli gražu ne tas pats, kas tiesiog naudoti GPS, kuris yra per daug netikslus kambario mastelio AR, arba žymėmis pagrįstą AR, kuri yra per daug ribojanti.

Magija užkulisiuose: pagrindinės technologijos

Neįtikėtinas pasaulio sekimo žygdarbis pirmiausia pasiekiamas per procesą, žinomą kaip SLAM (vienalaikė lokalizacija ir kartografavimas), papildytą duomenimis iš kitų integruotų jutiklių.

SLAM: AR akys

SLAM yra bežymio sekimo algoritminė širdis. Tai skaičiavimo problema, kai įrenginys turi sukurti nežinomos aplinkos žemėlapį, tuo pačiu metu sekdamas savo buvimo vietą tame žemėlapyje. Tai cikliškas procesas:

• Kartografavimas: Įrenginio kamera fiksuoja pasaulio vaizdo kadrus. Algoritmas analizuoja šiuos kadrus, kad nustatytų unikalius, stabilius dominančius taškus, vadinamus „ypatybių taškais“. Tai gali būti stalo kampas, išskirtinė kilimo tekstūra ar paveikslo rėmo kraštas. Šių taškų rinkinys sudaro retą 3D aplinkos žemėlapį, dažnai vadinamą „taškų debesiu“.
• Lokalizacija: Įrenginiui judant, algoritmas seka, kaip šie ypatybių taškai pasislenka kameros vaizde. Apskaičiuodamas šį optinį srautą iš kadro į kadrą, jis gali tiksliai nustatyti įrenginio judėjimą – ar jis judėjo pirmyn, į šoną, ar pasisuko. Jis lokalizuoja save pagal ką tik sukurtą žemėlapį.
• Vienalaikis ciklas: Svarbiausia, kad abu procesai vyksta vienu metu ir nuolat. Įrenginiui tyrinėjant daugiau kambario, jis prideda naujų ypatybių taškų į savo žemėlapį, todėl žemėlapis tampa patikimesnis. O patikimesnis žemėlapis savo ruožtu leidžia tikslesnę ir stabilesnę lokalizaciją. Šis nuolatinis tobulinimas ir suteikia sekimui tvirtumo pojūtį.

Jutiklių sintezė: nematomas stabilizatorius

Nors kamera ir SLAM suteikia vizualinį inkarą pasaulyje, jie turi apribojimų. Kameros fiksuoja kadrus santykinai mažu dažniu (pvz., 30–60 kartų per sekundę) ir gali susidurti su sunkumais esant prastam apšvietimui arba greitam judesiui (judesio susiliejimas). Čia į pagalbą ateina inercinis matavimo vienetas (IMU).

IMU yra mikroschema, kurioje yra akselerometras ir giroskopas. Ji matuoja pagreitį ir sukimosi greitį labai dideliu dažniu (šimtus ar tūkstančius kartų per sekundę). Šie duomenys teikia nuolatinį informacijos srautą apie įrenginio judėjimą. Tačiau IMU yra linkę į „dreifą“ – mažas klaidas, kurios kaupiasi laikui bėgant ir dėl kurių apskaičiuota padėtis tampa netiksli.

Jutiklių sintezė yra procesas, kurio metu protingai sujungiami didelio dažnio, bet dreifuojantys IMU duomenys su mažesnio dažnio, bet vizualiai pagrįstais kameros/SLAM duomenimis. IMU užpildo tarpus tarp kameros kadrų, kad judesys būtų sklandus, o SLAM duomenys periodiškai koreguoja IMU dreifą, iš naujo pririšdami jį prie realaus pasaulio. Šis galingas derinys leidžia pasiekti stabilų, mažos delsos sekimą, reikalingą įtikinamai AR patirčiai.

Pagrindinės bežymio WebXR galimybės

SLAM ir jutiklių sintezės technologijos atveria daugybę galingų galimybių, kurias kūrėjai gali panaudoti per WebXR API ir ją palaikančias karkasų sistemas. Tai yra modernių AR sąveikų statybiniai blokai.

1. Šešių laisvės laipsnių (6DoF) sekimas

Tai bene didžiausias šuolis nuo senesnių technologijų. 6DoF sekimas leidžia vartotojams fiziškai judėti erdvėje ir matyti šį judesį atspindėtą skaitmeninėje scenoje. Tai apima:

• 3DoF (sukimosi sekimas): Tai seka orientaciją. Galite žiūrėti aukštyn, žemyn ir aplink iš fiksuoto taško. Tai įprasta 360 laipsnių vaizdo įrašų peržiūros programose. Trys laipsniai yra polinkis (galvos linktelėjimas), posvyris (galvos purtymas „ne“) ir sukimasis (galvos palenkimas į šoną).
• +3DoF (pozicijos sekimas): Tai papildymas, leidžiantis sukurti tikrą AR. Jis seka poslinkį erdvėje. Galite eiti pirmyn/atgal, judėti kairėn/dešinėn ir pritūpti/atsistoti.

Su 6DoF vartotojai gali apeiti virtualų automobilį ir apžiūrėti jį iš visų kampų, priartėti prie virtualios skulptūros, kad pamatytų jos detales, arba fiziškai išvengti sviedinio AR žaidime. Tai paverčia vartotoją iš pasyvaus stebėtojo į aktyvų dalyvį sulieto realybės pasaulyje.

2. Plokštumų aptikimas (horizontalus ir vertikalus)

Kad virtualūs objektai atrodytų priklausantys mūsų pasauliui, jie turi gerbti jo paviršius. Plokštumų aptikimas yra funkcija, leidžianti sistemai identifikuoti plokščius paviršius aplinkoje. WebXR API paprastai gali aptikti:

• Horizontalias plokštumas: Grindis, stalus, stalviršius ir kitus plokščius, lygius paviršius. Tai būtina norint patalpinti objektus, kurie turėtų stovėti ant žemės, pavyzdžiui, baldus, personažus ar portalus.
• Vertikalias plokštumas: Sienas, duris, langus ir spinteles. Tai leidžia kurti patirtis, tokias kaip virtualaus paveikslo pakabinimas, skaitmeninio televizoriaus montavimas ar personažo, prasiveržiančio pro realią sieną, vaizdavimas.

Žvelgiant iš tarptautinės el. prekybos perspektyvos, tai yra žaidimą keičiantis dalykas. Mažmenininkas Indijoje gali leisti vartotojams vizualizuoti, kaip naujas kilimas atrodo ant jų grindų, o meno galerija Prancūzijoje gali pasiūlyti WebAR peržiūrą, kaip paveikslas atrodytų ant kolekcininko sienos. Tai suteikia kontekstą ir naudingumą, kuris skatina pirkimo sprendimus.

3. Pataikymo testavimas ir inkarai

Kai sistema supranta pasaulio geometriją, mums reikia būdo su ja sąveikauti. Čia pasitelkiamas pataikymo testavimas ir inkarai.

• Pataikymo testavimas: Tai mechanizmas, nustatantis, kur vartotojas rodo ar baksteli 3D pasaulyje. Dažniausiai įgyvendinama metant nematomą spindulį iš ekrano centro (arba nuo vartotojo piršto ekrane) į sceną. Kai šis spindulys susikerta su aptikta plokštuma ar ypatybės tašku, sistema grąžina to susikirtimo taško 3D koordinates. Tai yra pagrindinis veiksmas objektui patalpinti: vartotojas baksteli ekraną, atliekamas pataikymo testas, o objektas patalpinamas rezultato vietoje.
• Inkarai: Inkaras yra konkretus taškas ir orientacija realiame pasaulyje, kurį sistema aktyviai seka. Kai patalpinate virtualų objektą naudodami pataikymo testą, jūs netiesiogiai sukuriate jam inkarą. Pagrindinė SLAM sistemos užduotis yra užtikrinti, kad šis inkaras – taigi ir jūsų virtualus objektas – išliktų pritvirtintas prie savo realaus pasaulio pozicijos. Net jei nueisite ir grįšite, sistemos pasaulio žemėlapio supratimas užtikrins, kad objektas vis dar yra tiksliai ten, kur jį palikote. Inkarai suteikia esminį išlikimo ir stabilumo elementą.

4. Apšvietimo įvertinimas

Subtili, bet nepaprastai svarbi realizmo savybė yra apšvietimo įvertinimas. Sistema gali analizuoti kameros vaizdą, kad įvertintų vartotojo aplinkos apšvietimo sąlygas. Tai gali apimti:

• Intensyvumą: Kaip šviesus ar tamsus yra kambarys?
• Spalvų temperatūrą: Ar šviesa yra šilta (kaip iš kaitrinės lemputės) ar šalta (kaip iš apniukusio dangaus)?
• Kryptingumą (pažangiose sistemose): Sistema gali net įvertinti pagrindinio šviesos šaltinio kryptį, leidžiančią mesti realistiškus šešėlius.

Ši informacija leidžia 3D atvaizdavimo varikliui apšviesti virtualius objektus taip, kad jie atitiktų realų pasaulį. Virtuali metalinė sfera atspindės kambario ryškumą ir spalvą, o jos šešėlis bus minkštas arba kietas, priklausomai nuo įvertinto šviesos šaltinio. Ši paprasta funkcija labiau nei bet kuri kita padeda sulieti virtualų ir realų pasaulius, išvengiant įprasto „lipduko efekto“, kai skaitmeniniai objektai atrodo plokšti ir ne vietoje.

Bežymių WebXR patirčių kūrimas: praktinė apžvalga

Suprasti teoriją yra viena, o ją įgyvendinti – kita. Laimei, WebXR kūrėjų ekosistema yra brandi ir tvirta, siūlanti įrankius kiekvienam patirties lygiui.

WebXR įrenginio API: pagrindas

Tai yra žemo lygio JavaScript API, įdiegta moderniose interneto naršyklėse (pvz., „Chrome“ „Android“ ir „Safari“ „iOS“), kuri suteikia pagrindines sąsajas su pagrindinės įrenginio aparatinės įrangos ir operacinės sistemos (ARCore „Android“, ARKit „iOS“) AR galimybėmis. Ji tvarko seansų valdymą, įvestį ir kūrėjui atveria tokias funkcijas kaip plokštumų aptikimas ir inkarai. Nors galite rašyti tiesiogiai naudodami šią API, dauguma kūrėjų renkasi aukštesnio lygio karkasų sistemas, kurios supaprastina sudėtingą 3D matematiką ir atvaizdavimo ciklą.

Populiarios karkasų sistemos ir bibliotekos

Šie įrankiai abstrahuoja WebXR įrenginio API šabloninį kodą ir suteikia galingus atvaizdavimo variklius bei komponentų modelius.

• three.js: Populiariausia 3D grafikos biblioteka internetui. Tai nėra AR karkasų sistema savaime, tačiau jos `WebXRManager` suteikia puikią, tiesioginę prieigą prie WebXR funkcijų. Ji siūlo didžiulę galią ir lankstumą, todėl tai yra pasirinkimas kūrėjams, kuriems reikia smulkmeniško savo atvaizdavimo proceso ir sąveikų valdymo. Daugelis kitų karkasų sistemų yra sukurtos jos pagrindu.
• A-Frame: Sukurta ant three.js pagrindo, A-Frame yra deklaratyvi, esybės-komponento-sistemos (ECS) karkasų sistema, kuri leidžia neįtikėtinai lengvai kurti 3D ir VR/AR scenas. Galite apibrėžti sudėtingą sceną paprastomis, HTML panašiomis žymėmis. Tai puikus pasirinkimas greitam prototipų kūrimui, edukaciniams tikslams ir kūrėjams, ateinantiems iš tradicinės interneto kūrimo srities.
• Babylon.js: Galingas ir išbaigtas 3D žaidimų ir atvaizdavimo variklis internetui. Jis gali pasigirti turtingu funkcijų rinkiniu, stipria pasauline bendruomene ir fantastišku WebXR palaikymu. Jis žinomas dėl puikaus našumo ir kūrėjams draugiškų įrankių, todėl yra populiarus pasirinkimas sudėtingoms komercinėms ir verslo programoms.

Komercinės platformos daugiaplatformiam pasiekiamumui

Pagrindinis iššūkis kuriant WebXR yra naršyklių palaikymo ir įrenginių galimybių fragmentacija visame pasaulyje. Tai, kas veikia aukščiausios klasės „iPhone“ Šiaurės Amerikoje, gali neveikti vidutinės klasės „Android“ įrenginyje Pietryčių Azijoje. Komercinės platformos šią problemą sprendžia suteikdamos savo patentuotą, naršyklėje veikiantį SLAM variklį, kuris veikia daug platesniame įrenginių asortimente – net ir tuose, kurie neturi natūralaus ARCore ar ARKit palaikymo.

• 8th Wall (dabar Niantic): Neabejotinas rinkos lyderis šioje srityje. 8th Wall SLAM variklis garsėja savo kokybe ir, svarbiausia, didžiuliu įrenginių pasiekiamumu. Vykdydami savo kompiuterinę regą naršyklėje per WebAssembly, jie siūlo nuoseklią, aukštos kokybės sekimo patirtį milijarduose išmaniųjų telefonų. Tai yra kritiškai svarbu pasauliniams prekių ženklams, kurie negali sau leisti atmesti didelės dalies savo potencialios auditorijos.
• Zappar: Ilgametis žaidėjas AR srityje, Zappar siūlo galingą ir universalią platformą su savo tvirta sekimo technologija. Jų ZapWorks įrankių rinkinys suteikia išsamų kūrybinį ir leidybos sprendimą kūrėjams ir dizaineriams, skirtą plačiam įrenginių ir naudojimo atvejų spektrui.

Pasauliniai panaudojimo atvejai: bežymis sekimas veiksme

Aplinka pagrįstos WebAR taikymo sritys yra tokios pat įvairios kaip ir pasaulinė auditorija, kurią ji gali pasiekti.

Elektroninė komercija ir mažmeninė prekyba

Tai labiausiai subrendęs naudojimo atvejis. Nuo baldų pardavėjo Brazilijoje, leidžiančio klientams pamatyti naują fotelį savo bute, iki sportbačių prekės ženklo Pietų Korėjoje, leidžiančio mados entuziastams peržiūrėti naujausią modelį ant savo kojų, „Peržiūrėti savo kambaryje“ funkcionalumas tampa standartiniu lūkesčiu. Tai sumažina neapibrėžtumą, padidina konversijų rodiklius ir sumažina grąžinimų skaičių.

Švietimas ir mokymai

Bežymis AR yra revoliucinis vizualizacijos įrankis. Universiteto studentas Egipte gali skrosti virtualią varlę ant savo stalo, nepakenkdamas gyvūnui. Automobilių technikas Vokietijoje gali sekti AR vadovaujamas instrukcijas, pateiktas tiesiai ant tikro automobilio variklio, pagerindamas tikslumą ir sutrumpindamas mokymosi laiką. Turinys nėra pririštas prie konkrečios klasės ar laboratorijos; jį galima pasiekti bet kur.

Rinkodara ir prekės ženklo įtraukimas

Prekių ženklai naudoja WebAR įtraukiančiam pasakojimui. Pasaulinė gėrimų kompanija gali sukurti portalą vartotojo svetainėje, vedantį į keistą, prekės ženklo pasaulį. Tarptautinė filmų studija gali leisti gerbėjams nusifotografuoti su natūralaus dydžio, animuotu personažu iš savo naujausio filmo, visa tai inicijuojama nuskaičius QR kodą ant plakato, tačiau sekama bežymiu būdu jų aplinkoje.

Navigacija ir kelio radimas

Didelės, sudėtingos vietos, tokios kaip tarptautiniai oro uostai, muziejai ar parodos, yra puikūs kandidatai AR kelio radimui. Užuot žiūrėjęs į 2D žemėlapį savo telefone, keliautojas Dubajaus tarptautiniame oro uoste galėtų pakelti telefoną ir pamatyti virtualų taką ant grindų, vedantį jį tiesiai prie savo vartų, su realaus laiko vertimais ženklams ir lankytinoms vietoms.

Iššūkiai ir ateities kryptys

Nors ir neįtikėtinai galingas, bežymis WebXR turi ir iššūkių. Technologija nuolat tobulėja, siekdama įveikti šias kliūtis.

Dabartiniai apribojimai

• Našumas ir baterijos eikvojimas: Kameros vaizdo ir sudėtingo SLAM algoritmo veikimas vienu metu yra skaičiavimo požiūriu brangus ir sunaudoja daug baterijos energijos, o tai yra svarbus aspektas mobiliosioms patirtims.
• Sekimo patikimumas: Sekimas gali nutrūkti arba tapti nestabilus tam tikromis sąlygomis. Prastas apšvietimas, greiti, trūkčiojantys judesiai ir aplinkos su mažai vizualinių ypatybių (pvz., vienspalvė balta siena ar labai atspindinčios grindys) gali priversti sistemą „pamesti“ savo vietą.
• „Dreifo“ problema: Per didelius atstumus ar ilgus laikotarpius gali kauptis nedideli sekimo netikslumai, dėl kurių virtualūs objektai lėtai „nudreifuoja“ nuo savo pradinės inkaruotos pozicijos.
• Naršyklių ir įrenginių fragmentacija: Nors komercinės platformos tai sušvelnina, pasikliaujant natūraliu naršyklės palaikymu, tenka naršyti sudėtingoje matricoje, kurios funkcijos palaikomos kurioje OS versijoje ir aparatinės įrangos modelyje.

Kelias į priekį: kas toliau?

Aplinkos sekimo ateitis orientuota į gilesnį, išliekantį ir semantiškesnį pasaulio supratimą.

• Tinklo kūrimas ir uždengimas: Kitas žingsnis po plokštumų aptikimo yra pilnas 3D tinklo kūrimas. Sistemos realiuoju laiku sukurs visos aplinkos geometrinį tinklą. Tai įgalina uždengimą – gebėjimą virtualiam objektui būti teisingai paslėptam už realaus pasaulio objekto. Įsivaizduokite virtualų personažą, realistiškai einantį už jūsų tikros sofos. Tai yra lemiamas žingsnis link sklandžios integracijos.
• Išliekantys inkarai ir AR debesis: Gebėjimas išsaugoti kartografuotą erdvę ir jos inkarus, vėliau juos įkelti ir dalytis su kitais vartotojais. Tai yra „AR debesies“ koncepcija. Galėtumėte palikti virtualų raštelį šeimos nariui ant savo tikro šaldytuvo, o jis galėtų jį pamatyti vėliau su savo įrenginiu. Tai įgalina daugelio vartotojų, išliekančias AR patirtis.
• Semantinis supratimas: Dirbtinis intelektas ir mašininis mokymasis leis sistemoms ne tik matyti plokščią paviršių, bet ir suprasti, kas tai yra. Įrenginys žinos „tai yra stalas“, „tai yra kėdė“, „tai yra langas“. Tai atveria kontekstą suvokiančią AR, kur virtuali katė galėtų žinoti, kad reikia užšokti ant tikros kėdės, arba AR asistentas galėtų patalpinti virtualius valdiklius šalia tikro televizoriaus.

Kaip pradėti: Jūsų pirmieji žingsniai į bežymį WebXR

Pasiruošę pradėti kurti? Štai kaip žengti pirmuosius žingsnius:

1. Išbandykite demonstracines versijas: Geriausias būdas suprasti technologiją – ją patirti. Peržiūrėkite oficialius WebXR įrenginio API pavyzdžius, A-Frame dokumentacijos pavyzdžius ir projektų vitrinas tokiose svetainėse kaip 8th Wall. Naudokite savo išmanųjį telefoną, kad pamatytumėte, kas veikia ir koks jausmas.
2. Pasirinkite savo įrankį: Pradedantiesiems A-Frame yra fantastiškas atspirties taškas dėl savo švelnios mokymosi kreivės. Jei gerai išmanote JavaScript ir 3D koncepcijas, pasinėrimas į three.js ar Babylon.js suteiks daugiau galios. Jei jūsų pagrindinis tikslas yra maksimalus pasiekiamumas komerciniam projektui, būtina išnagrinėti tokias platformas kaip 8th Wall ar Zappar.
3. Sutelkite dėmesį į vartotojo patirtį (UX): Geras AR yra daugiau nei tik technologija. Pagalvokite apie vartotojo kelionę. Turite juos supažindinti: nurodykite nukreipti telefoną į grindis ir judinti jį, kad nuskenuotų plotą. Suteikite aiškų vizualinį grįžtamąjį ryšį, kai paviršius buvo aptiktas ir yra paruoštas sąveikai. Laikykite sąveikas paprastas ir intuityvias.
4. Prisijunkite prie pasaulinės bendruomenės: Jūs ne vieni. Yra gyvybingos, tarptautinės WebXR kūrėjų bendruomenės. WebXR Discord serveris, oficialūs three.js ir Babylon.js forumai bei daugybė vadovėlių ir atvirojo kodo projektų GitHub yra neįkainojami ištekliai mokymuisi ir problemų sprendimui.

Išvada: erdvę suvokiančio interneto kūrimas

Aplinka pagrįstas bežymis sekimas iš esmės pavertė papildytąją realybę iš nišinės naujovės į galingą, keičiamo mastelio platformą komunikacijai, prekybai ir pramogoms. Jis perkelia skaičiavimus iš abstraktaus į fizinį pasaulį, leisdamas skaitmeninei informacijai būti pririštai prie pasaulio, kuriame gyvename.

Naudodami WebXR, galime pateikti šias erdvę suvokiančias patirtis pasaulinei vartotojų bazei su vienu URL, griaudami programėlių parduotuvių ir diegimo kliūtis. Kelionė dar toli gražu nebaigta. Kai sekimas taps patikimesnis, išliekantis ir semantiškai sąmoningesnis, pereisime nuo paprasto objektų talpinimo kambaryje prie tikro, interaktyvaus ir erdvę suvokiančio interneto kūrimo – interneto, kuris mato, supranta ir sklandžiai integruojasi su mūsų realybe.